Neglected Free Lunch from Post-training: Progress Advantage for LLM Agents
被忽视的免费午餐：LLM Agent 的进展优势
🧭 Agent 过程评估 · 优势函数 ★ 深度解读
University of Wisconsin–Madison · Argonne National Laboratory
从 RL 后训练中直接提取策略与参考策略的对数概率比作为隐式过程奖励，无需训练专用奖励模型。
📌 工作参考价值（4 点）
- 零成本过程评估：直接使用 RL 微调后 checkpoint 与其参考 checkpoint（如 base 模型）的 log概率比作为每步动作的进展优势，可替代昂贵且难以泛化的过程奖励模型训练，适合电商场景下多轮对话、工具调用等 agent 轨迹的实时监控。
- Best-of-N 采样提升成功率：在需要探索温度高、重试多次的任务（如对话式客服、复杂搜索流程）中，使用进展优势对候选轨迹评分并选择最佳轨迹，可显著提升任务完成率，实验在 τ2-Airline 等 agent 基准上超越专门训练的奖励模型。
- Agent 轨迹不确定性量化：将轨迹级进展优势作为成功的预测信号，可在无额外训练下准确判断 agent 交互是否可能失败，用于风险控制或在线干预；实验在多个模型上 AUROC 达 0.865，优于置信度基线和预训练 PRM。
- 故障步骤定位：在多智体或工具调用链条中，通过最小化每步进展优势来定位导致失败的关键步骤，辅助线上问题诊断和信用分配，几乎达到专门训练方法的精度。